Ch 3 Eigenvector

UTG

CPE 332

Computer Engineering

Mathematics II

Week 4: Ch.3 Eigenvector and

Diagonalization

Ch4. Probability Review

Today Topics

• Part I Chapt. 3 Eigenvalue/Eigenvector

• Break

• Chapter 4: Review Probability

• Homework 2: Due

• Homework 3 ส่งสัปดาห์หน ้า ต ้นชั่วโมง

Determinant

Chapter 3 Intro

Diagonalization

Orthogonal and Symmetric

• จาก Theorem ที่กล่าว จุดที่สําคัญคือ

Theorem ที่ 8 สุดท ้าย กล่าวคือ

– ถ ้า Matrix เป็น Real Symmetric เราจะได ้

Eigenvalue เป็นค่าจริง และจะมี Orthogonal Matrix ที่จะมา Diagonalize ได ้

– เมื่อ Matrix เป็น Orthogonal มันจะหา Inverse ได ้ง่าย

– ถ ้าเรา Normalized แต่ละ Eigenvector ที่

คํานวณได ้ให ้มี Magnitude เท่ากับหนึ่ง เราจะ

ได ้ Orthogonal Matrix ที่สามารถ Diagonalize Matrix ที่ต ้องการ

Break

Note: เราเลือก 2 vector ที่

Independent ก ัน โดยการแทน

ค่า β และ γ อะไรก็ได้

End of Chapter 3

• HW 3 Due Next Week

• Chapter 4 Probability Review

Chapter 4 Probability

• Concept and Definition

– Experiments, Event, Outcomes, Sample Space

– Laplace Definition, Definition from Set

• Independent and Mutual Exclusive

– Axioms of Probability, Vein Diagram, Independent concept, ME Concept

• Conditional Probability and Bayes

• PDF and CDF Concept and Properties

– Continuous and Discrete

Definition

• Outcome/Sample Point

– ผลลัพท์ที่ได ้จากการทดลอง หรือสุ่มตัวอย่าง

• Sample Space

– Set ของผลลัพธ์ทั้งหมด

• Event

– เงื่อนไขของการทดลอง

• กําหนด Event A, ถ ้าทดลอง N ครั้ง และได ้

ผลลัพธ์เป็นไปตามเงื่อนไข A = NA ครั้ง

N

P[ A

A

=

]

P

robabilit y of

E

vent

O

A ccur = lim

N →∞ N

Example: Dice Roll

• Sample Space = {1,2,3,4,5,6}

• P(1)=P(2)= … =P(6)=1/6

– Laplace Definition of Probability

– ถ ้าแต่ละ Member ใน Sample Space มีโอกาส

เกิดเท่าๆกัน

• A = Even

• A = {2,4,6}

• P(A) = |{2,4,6}|/|S| = 3/6 = ½

Mutually Exclusive

• A ME B

• เมื่อเกิด Event A จะเกิด Event B ไม่ได ้

• เมื่อทอยลูเต๋าได ้เลขคู่ จะไม่ใช่เลขคี่

– ดังนั้นถ ้า A = Even, B = Odd

– A ME B

• P(A+B) or P(A union B) = P(A) + P(B)

• เห็นได ้ชัดโดยแสดงด ้วย Vein Diagram

A

B

A

B

Mutually Exclusive

• ME

A

B

• A∩B =∅

• A∪B=A+B

• P(A∪B)=P(A)+P(B)

• Non ME

A

B

• A∩B ≠∅

• A∪B=A+B- A∩B

– Inclusion-Exclusion

Principle

3 AXIOMS OF Probability

• 1. P(S) = 1

– ทุกๆการทดลอง ผลลัพธ์ต ้องอยู่ใน Sample Space

• 2. 0 =< P(A) =< 1

– ค่าของ Probability ต ้องอยู่ระหว่าง 0 และ 1

• 3. ME: P(A+B)=P(A)+P(B)

– Mutual y Exclusive; Probability ของ Union ของ Event เท่ากับผลบวกของ Probability

ของแต่ละ Event

Conditional Probability

• Probability ของ Event หนึ่ง เมื่อกําหนดให ้

อีก Event หนึ่งได ้เกิดขึ้น

– Probability จะเพิ่มถ ้าสอง Event เกี่ยวข ้องกัน

– Probability จะไม่เปลี่ยนถ ้าสอง Event ไม่เกี่ยว

กัน

• เราเรียกว่าเป็น Statistical Independent

• นอกจากนี้

[

P A \ B] = [

P AB]/ [

P B],

[

P B \ ]

A = [

P

}

AB / [

P

]

A

[

P A \ B] [

P B] = [

P B \ ]

A

[

P

]

A

[

P A \ B] = [

P B \ ]

A

[

P

]

A / [

P B]

Bayes Rule

E1

E3

E6

A

E

E

9

2

E

4

E7

E

E

8

5

Properties

Example 1

• ในการส่งข ้อมูลแบบ Digital เป็น Frame ขนาด 50 บิต การส่งจะ

สมบูรณ์ได ้ก็ต่อเมื่อทั้ง Frame ไปถึงอย่างถูกต ้อง ถ ้าการเกิด Error ใน

แต่ละบิตของการส่ง(BER = Bit Error Rate) มีโอกาสจะผิดพลาดได ้

เท่ากับ 1/1000 จงหาว่า Frame ที่ส่งจะมี Error เฉลี่ยแล ้วกี่เปอร์เซ็นต์

(FER = Frame Error Rate) ถ ้าการเกิด Error แต่ละ Bit เป็น

Independent

[

P Bit Error] = 10-3

[

P Bit No E

t rror] = 1 -10-3 =

999

.

0

[

P Frame No E

t rror] = P

B

50

[

it No E

t rror] = 0.99950

[

P Frame E

rror] = 1 - 0.99950 = .

0 04879 =

%

879

.

4

Example 2

• จากสถิติ พบว่าโอกาสที่นักศึกษาชายจะสอบผ่านวิชา CPE332 มีค่า

เท่ากับ 0.5 และโอกาสที่นักศึกษาหญิงจะสอบผ่านมีค่าเท่ากับ 0.4 ถ ้า

วิชา CPE332 เทอมนี้มีนักเรียนชาย 40 คนและนักเรียนหญิง 25 คน จง

หาว่าเฉลี่ยแล ้วจะมีนักเรียนตกกี่คน

• สามารถคํานวนโดยใช ้ค่าถ่วงนํ้าหนัก

• ให ้ Sample Space ประกอบด ้วยนักเรียนชาย(M) และนักเรียนหญิง(F) ดังนั้น S = {M,F}

– สังเกตุว่า Set ทั้งสองเป็น ME คือ Sample Space ถูก Partition เป็นสอง Partition

– P[M]=40/65 และ P[F]=25/65

• ให ้ Event A เป็นเหตุการณ์ที่นักศึกษาจะสอบผ่าน เราได ้

• P[A\M]=0.5 และ P[A\F]=0.4

• จากสมการการ Partition

n

[

P

]

A = ∑ [

P E ] [

P A \ E ] = [

P M ] [

P A \ M ] + [

P F ] [

P A \ F ]

i

i

i 1

=

40

25

=

⋅ .

0 5 +

⋅ 4

.

0

= 4615

.

0

65

65

[

P Fail C

PE332] = P[AC ] = 1 − [

P

]

A = 1 −

4615

.

0

= 5385

.

0

=

%

85

.

53

Example3

• ต่อจากตัวอย่างที่ 2: ถ ้าเราสุ่มตัวอย่างนักศึกษามาหนึ่งคนที่ลงวิชา CPE332 เมื่อเทอมที่

แล ้ว จากนั้นถามว่านักศึกษาผ่านวิชานี้หรือไม่ นักศึกษาผู ้นั้นตอบว่าสอบผ่านแล ้ว จง

คํานวณว่า

– 1.โอกาสที่นักศึกษาผู ้นั้นจะเป็นผู ้หญิงเท่ากับเท่าไร

– 2. Probability ที่นักศึกษาสอบผ่านและเป็นผู ้หญิงมีเท่าไร

• 1. ต ้องการหา P[F\A]

[

P F \ ]

A = [

P

]

FA / [

P

]

A = [

P A \ F ] [

P F ]/ [

P

]

A

25

1

= 4

.

0 ⋅

= 333

.

0

4 =

%

34

.

33

65 0 461

.

5

• 2. ต ้องการหา P[FA]=P[F∩A]

[

P F \ ]

A = [

P

]

FA / [

P

]

A

[

P

]

FA = [

P F \ ]

A

[

P

]

A = [

P A \ F ] [

P F ]

= .

0 3334 ⋅ 4615

.

0

= .

0 1539 =

%

39

.

15

Random Variables

• เมื่อเรากําหนดค่าเป็นตัวเลขของทุกๆ Sample Point ใน Sample Space และถ ้าให ้ Variable แทนผลลัพธ์ที่ได ้จากการทดลอง ดังนั้นผลของการ

ทดลองจะมีค่าเป็นตัวเลข และเราเรียก Variable นั้นว่าเป็น Random Variable ซึ่งปกติแล ้วเรา

มักจะให ้ Random Variable แทนด ้วยตัว Capital

• ที่สําคัญคือ การกําหนด RV ซึ่งเป็นตัวเลขทําให ้เรา

สามารถนําไปคํานวณต่อทางคณิตศาสตร์ได ้

– Mean

– Variance

– Etc.

Random Variables

• เมื่อผลลัพธ์ของการทดลอง(Sample Space)ได ้ Infinite Set การกําหนดตัวเลขมักจะเป็นตัวเลขที่ต่อเนื่อง

– เราได ้ Continuous Random Variable

• เมื่อผลลัพธ์เป็น Finite Set การกําหนดจะใช ้ Set ของ

ตัวเลข มักจะเป็น Integer

– เราได ้ Discrete Random Variable

• Probability ที่จะได ้ผลลัพธ์การทดลองหนึ่งๆ คือ

Probability ที่ Random Variable จะมีค่าตามที่เรากําหนด

• เราสามารถแสดงคุณสมบัติของ RV จากการ Plot ค่า

Probability(y-axis) และค่าของ Random Variable(x-axis)

– Cumulative Distribution Function (CDF)

– Probability Density Function (PDF)

CDF:Cumulative Distribution

Function of RV X

FX(x)

1.0

F (10) = P[ X ≤ 10]

X

x

x = 10

CDF of Normal (Gaussian) Distribution: Continuous

CDF Properties

CDF การทอยเหรียญ: Discrete RV

• ให ้ “หัว”= 0 และ “ก ้อย” = 1

F (x) = P(X ≤ x)

X

1.0

0.5

0

x

0

1

CDF การทอยลูกเต๋า: Discrete RV

• ให ้ ผลเป็นตัวเลขตามหน ้าลูกเต๋า

F (x) = P(X ≤ x)

X

1.0

0.5

0

x

0

1

2

3

4

5

6

7

PDF: Probability Density

Function

f(x)

Area = f(x)dx = 1

x

PDF of Normal(Gaussian) Distribution : Continuous

Properties of PDF

Discrete Version

– ค่าของ Variable ไม่ต่อเนื่อง

• RV X มีค่าเฉพาะที่ X=xi

– F(x) = P(X≤x)

• Function นี้มีความต่อเนื่องด ้านขวามือ

• นิยามสําหรับทุกจุดใน Domain ของ x

• Function เป็นลักษณะขั้นบรรได

• Monotonic Increasing Function จาก 0 ถึง 1

– f(xi) = P(X = xi)

• นิยามเฉพาะจุด ไม่ต่อเนื่อง ค่าเป็นศูนย์ระหว่างนั้น

• บางทีเรียก Probability Mass Function

• ∑f(xi)=1 เสมอ

f(x)

PMF

x

F(x)

CDF

x

Chapter 4 Cont. Next week

– Statistical Average

– Importance PDF

– Joint PDF

– Correlation/Covariance

• Chapter 5: Introduction to Random

Process

– Concept/Definition

– Stationary Concept

– Ergodic Concept

– Autocorrelation and Cross Correlation

Document Outline

Table of contents

previous page start